人工智能和神经科学都深受互动。人工神经网络（ANNS）是一种多功能的工具，用于研究腹侧视觉流中的神经表现，以及神经科学中的知识返回激发了ANN模型，以提高任务的性能。但是，如何将这两个方向合并到统一模型中较少研究。这里，我们提出了一种混合模型，称为深度自动编码器，具有神经响应（DAE-NR），其将来自视觉皮质的信息包含在ANN中，以实现生物和人造神经元之间的更好的图像重建和更高的神经表示相似性。具体地，对小鼠脑和DAE-NR的输入相同的视觉刺激（即自然图像）。 DAE-NR共同学会通过映射函数将编码器网络的特定层映射到腹侧视觉流中的生物神经响应，并通过解码器重建视觉输入。我们的实验表明，如果只有在联合学习，DAE-NRS可以（i）可以提高图像重建的性能，并且（ii）增加生物神经元和人工神经元之间的代表性相似性。 DAE-NR提供了一种关于计算机视觉和视觉神经科学集成的新视角。

机器学习在医学图像分析中发挥着越来越重要的作用，产卵在神经影像症的临床应用中的新进展。之前有一些关于机器学习和癫痫的综述，它们主要专注于电生理信号，如脑电图（EEG）和立体脑电图（SEENG），同时忽略癫痫研究中神经影像的潜力。 NeuroImaging在确认癫痫区域的范围内具有重要的优点，这对于手术后的前诊所评估和评估至关重要。然而，脑电图难以定位大脑中的准确癫痫病变区。在这篇综述中，我们强调了癫痫诊断和预后在癫痫诊断和预后的背景下神经影像学和机器学习的相互作用。我们首先概述癫痫诊所，MRI，DWI，FMRI和PET中使用的癫痫和典型的神经影像姿态。然后，我们在将机器学习方法应用于神经影像数据的方法：i）将手动特征工程和分类器的传统机器学习方法阐述了两种方法，即卷积神经网络和自动化器等深度学习方法。随后，详细地研究了对癫痫，定位和横向化任务等分割，本地化和横向化任务的应用，以及与诊断和预后直接相关的任务。最后，我们讨论了目前的成就，挑战和潜在的未来方向，希望为癫痫的计算机辅助诊断和预后铺平道路。

变形自身偏移（VAES）是具有来自深神经网络架构和贝叶斯方法的丰富代表功能的有影响力的生成模型。然而，VAE模型具有比分布（ID）输入的分配方式分配更高的可能性较高的可能性。为了解决这个问题，认为可靠的不确定性估计是对对OOC投入的深入了解至关重要。在这项研究中，我们提出了一种改进的噪声对比之前（INCP），以便能够集成到VAE的编码器中，称为INCPVAE。INCP是可扩展，可培训和与VAE兼容的，它还采用了来自INCP的优点进行不确定性估计。各种数据集的实验表明，与标准VAE相比，我们的模型在OOD数据的不确定性估计方面是优越的，并且在异常检测任务中是强大的。INCPVAE模型获得了可靠的输入不确定性估算，并解决了VAE模型中的ood问题。

Equipping predicted segmentation with calibrated uncertainty is essential for safety-critical applications. In this work, we focus on capturing the data-inherent uncertainty (aka aleatoric uncertainty) in segmentation, typically when ambiguities exist in input images. Due to the high-dimensional output space and potential multiple modes in segmenting ambiguous images, it remains challenging to predict well-calibrated uncertainty for segmentation. To tackle this problem, we propose a novel mixture of stochastic experts (MoSE) model, where each expert network estimates a distinct mode of the aleatoric uncertainty and a gating network predicts the probabilities of an input image being segmented in those modes. This yields an efficient two-level uncertainty representation. To learn the model, we develop a Wasserstein-like loss that directly minimizes the distribution distance between the MoSE and ground truth annotations. The loss can easily integrate traditional segmentation quality measures and be efficiently optimized via constraint relaxation. We validate our method on the LIDC-IDRI dataset and a modified multimodal Cityscapes dataset. Results demonstrate that our method achieves the state-of-the-art or competitive performance on all metrics.

Information Extraction (IE) aims to extract structured information from heterogeneous sources. IE from natural language texts include sub-tasks such as Named Entity Recognition (NER), Relation Extraction (RE), and Event Extraction (EE). Most IE systems require comprehensive understandings of sentence structure, implied semantics, and domain knowledge to perform well; thus, IE tasks always need adequate external resources and annotations. However, it takes time and effort to obtain more human annotations. Low-Resource Information Extraction (LRIE) strives to use unsupervised data, reducing the required resources and human annotation. In practice, existing systems either utilize self-training schemes to generate pseudo labels that will cause the gradual drift problem, or leverage consistency regularization methods which inevitably possess confirmation bias. To alleviate confirmation bias due to the lack of feedback loops in existing LRIE learning paradigms, we develop a Gradient Imitation Reinforcement Learning (GIRL) method to encourage pseudo-labeled data to imitate the gradient descent direction on labeled data, which can force pseudo-labeled data to achieve better optimization capabilities similar to labeled data. Based on how well the pseudo-labeled data imitates the instructive gradient descent direction obtained from labeled data, we design a reward to quantify the imitation process and bootstrap the optimization capability of pseudo-labeled data through trial and error. In addition to learning paradigms, GIRL is not limited to specific sub-tasks, and we leverage GIRL to solve all IE sub-tasks (named entity recognition, relation extraction, and event extraction) in low-resource settings (semi-supervised IE and few-shot IE).

对比性语言图像预训练（剪辑）已被证明可以学习具有出色传递性的视觉表示，从而实现了零击分类的有希望的准确性。为了进一步提高其下游性能，现有作品在剪辑上提出了其他可学习的模块，并通过几次训练集对其进行微调。但是，由此产生的额外培训成本和数据要求严重阻碍了模型部署和知识转移的效率。在本文中，我们引入了一种自由午餐的增强方法CALIP，以通过无参数注意模块来提高Clip的零拍摄性能。具体而言，我们指导视觉和文本表示相互交互，并通过注意探索跨模式的信息特征。由于预训练大大降低了两种方式之间的嵌入距离，因此我们在注意力中丢弃所有可学习的参数，并在双向更新多模式特征，从而使整个过程无参数且无培训。通过这种方式，图像与文本感知信号混合在一起，文本表示形式被视觉引导以获得更好的自适应零射击对齐。我们在14个数据集的各种基准上评估CALIP，用于2D图像和3D Point Cloud几乎没有分类，显示出一致的零弹性性能改进了夹子。基于此，我们进一步在Calip的注意模块中插入了少量线性层，并在少量射击设置下验证我们的鲁棒性，与现有方法相比，这也可以实现领先的性能。这些广泛的实验证明了我们的方法在有效增强夹子方面的优势。

场景图是一种语义表示，表达场景中对象之间的对象，属性和关系。场景图在许多交叉模态任务中起着重要作用，因为它们能够捕获图像和文本之间的交互。在本文中，我们关注场景图修改（SGM），其中需要系统来学习如何基于自然语言查询更新现有场景图。与以前重建整个场景图的方法不同，我们通过引入增量结构扩展（ISE）来将SGM作为图形扩展任务。 ISE通过逐步扩展源图来构建目标图，而无需更改未修改的结构。基于ISE，我们进一步提出了一个模型，该模型在节点预测和边缘预测之间进行迭代，从而逐渐推断出更准确和和谐的扩展决策。此外，我们构建了一个具有挑战性的数据集，该数据集包含比现有数据集更复杂的查询和更大的场景图。四个基准测试的实验证明了我们的方法的有效性，该实验超过了以前的最新模型。

成功的基于机器学习的命名实体识别模型可能会因某些特殊领域的文本而失败，例如中文地址和电子商务标题，需要足够的背景知识。对于人类注释者来说，此类文本也很难。实际上，我们可以从具有一些共同实体的相关文本中获得一些潜在的有用信息，以帮助文本理解。然后，人们可以通过引用相关样本来轻松地提出正确的答案。在本文中，我们建议使用相关样品增强NER模型。我们通过大规模内域未标记的数据从稀疏的BM25检索器中绘制相关样品。为了明确模拟人类推理过程，我们执行了通过多数投票校准的无培训实体类型。为了捕获训练阶段的相关特征，我们建议通过基于变压器的多构度跨编码器对相关样品进行建模。上述两个域数据集的经验结果显示了我们方法的功效。

在本文中，我们研究了基于骨架的动作识别的问题，该问题在学习从基础阶级到新颖类的可转移表示方面构成了独特的挑战，尤其是针对细粒度的动作。现有的元学习框架通常依赖于空间维度中的身体级表示，这限制了概括以捕获细粒标签空间中细微的视觉差异。为了克服上述局限性，我们提出了一种基于单发骨架的动作识别的部分感知的原型代表。我们的方法捕获了两个独特的空间级别的骨架运动模式，一种用于所有身体关节的全球环境，称为身体水平，另一个则参与了身体部位的局部空间区域，称为零件水平。我们还设计了一种类不足的注意机制，以突出每个动作类别的重要部分。具体而言，我们开发了一个由三个模块组成的零件感知原型图网络：我们的双层建模的级联嵌入模块，一个基于注意力的零件融合模块，用于融合零件并生成零件感知的原型，以及可以执行匹配的模块。与部分意识表示的分类。我们证明了我们方法对两个基于公共骨架的动作识别数据集的有效性：NTU RGB+D 120和NW-UCLA。

3D场景感性风格化旨在根据给定的样式图像从任意新颖的视图中生成光真逼真的图像，同时在从不同观点呈现时确保一致性。一些带有神经辐射场的现有风格化方法可以通过将样式图像的特征与多视图图像结合到训练3D场景来有效地预测风格化的场景。但是，这些方法生成了包含令人反感的伪影的新型视图图像。此外，他们无法为3D场景实现普遍的影迷风格化。因此，样式图像必须根据神经辐射场重新训练3D场景表示网络。我们提出了一个新颖的3D场景，逼真的风格转移框架来解决这些问题。它可以通过2D样式图像实现感性3D场景样式转移。我们首先预先训练了2D逼真的样式传输网络，该网络可以符合任何给定内容图像和样式图像之间的影片风格转移。然后，我们使用体素特征来优化3D场景并获得场景的几何表示。最后，我们共同优化了一个超级网络，以实现场景的逼真风格传输的任意样式图像。在转移阶段，我们使用预先训练的2D影视网络来限制3D场景中不同视图和不同样式图像的感性风格。实验结果表明，我们的方法不仅实现了任意样式图像的3D影像风格转移，而且还优于视觉质量和一致性方面的现有方法。项目页面：https：//semchan.github.io/upst_nerf。